7.3 KB · ⇊ 2 parts · ⤓ Micron 7.3 KB · ⤓ HTML 20.5 KB

top

Das LLaMA (Large Language Model Meta AI) von Meta ist ein sogenanntes Großes Sprachmodell, das von Meta AI am 24. Februar 2023 veröffentlicht wurde.cite-ref-1[1] Es ist ein generatives Sprachmodell, das in der Lage ist, menschenähnlichen Text zu erzeugen, Sprachen zu übersetzen, verschiedene Arten kreativer Inhalte zu schreiben und Fragen informativ zu beantworten.cite-ref-0-2-0[2]cite-ref-1-3-0[3]cite-ref-4[4]

• Veröffentlichung

• Details

• Einzelnachweise

LLaMA wurde am 23. Februar 2023 in einem Blogbeitrag und einem wissenschaftlichen Papier angekündigt, in dem das Training, die Architektur und die Leistung des Modells beschrieben wurden.cite-ref-0-2-1[2] Der Programmcode, der zur Ausführung des Modells verwendet wird, wurde unter der Open-Source-Lizenz GPL 3 veröffentlicht und kann via Github abgerufen werden.cite-ref-5[5] Der Zugang zu dem Modell wird von Fall zu Fall akademischen Forschern, Mitarbeitern von staatlichen, zivilgesellschaftlichen und akademischen Organisationen sowie Forschungslabors der Industrie in aller Welt gewährt.cite-ref-6[6]

Für die erste Version von LLaMA wurden vier Modellgrößen trainiert: 7, 13, 33 und 65 Milliarden Parameter.cite-ref-2-7-0[7] Die LLaMA-Entwickler berichteten, dass die Leistung des 13B-Parameter-Modells bei den meisten NLP-Benchmarks die Leistung des viel größeren GPT-3 (mit 175 Mrd. Parametern) übertraf und dass das größte Modell mit aktuellen Modellen wie PaLM und Chinchilla, einem von Google im März 2022 vorgestelltem großem Sprachmodell, konkurrenzfähig war.cite-ref-1-3-1[3]cite-ref-2-7-1[7]

Das LLaMA Modell wurde auf einem Datensatz mit 1,4 Billionen sogenannten Token trainiert, die aus öffentlich zugänglichen Datenquellen stammten, darunter:cite-ref-1-3-2[3]

• Von Common Crawl gescrapte Webseiten

• Open-Source-Repositories mit Quellcode von GitHub

• Wikipedia in 20 verschiedenen Sprachen

• Gemeinfreie Bücher von Project Gutenberg

• Der LaTeX-Quellcode für wissenschaftliche Arbeiten, die auf ArXiv hochgeladen wurden

• Fragen und Antworten von Stack-Exchange-Webseiten

LLaMa Version 2 wurde am 19. Juli 2023 durch Meta gemeinsam mit Microsoft vorgestellt.cite-ref-8[8] Eigenen Angaben zufolge wurden 40 Prozent mehr Daten für das Training eingesetzt und dabei doppelt so viel Kontext einbezogen. LLaMA 2 liegt in drei unterschiedlich großen Varianten vor: mit sieben Milliarden, 13 Milliarden sowie 70 Milliarden Parametern.

Am 23. Juli 2024 publizierte Meta das Modell Llama 3.1 mit 8, 70 oder 405 Milliarden Parametern als frei zugängliche Version.cite-ref-9[9] Das im September 2024 veröffentlichte neueste Modell Llama 3.2 ist in Europa noch nicht frei zugänglich.cite-ref-10[10]

cite-note-11. ↑ Eike Kühl: KI-Chatbot von Meta: Ein Llama auf Abwegen. In: Die Zeit. 6. März 2023, ISSN 0044-2070 (zeit.de [abgerufen am 7. Februar 2024]).

cite-note-0-22. ↑ Introducing LLaMA: A foundational, 65-billion-parameter language model. Abgerufen am 7. Februar 2024 (englisch).

cite-note-1-33. ↑ Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière et al: LLaMA: Open and Efficient Foundation Language Models. In: arxiv. Meta AI, 27. Februar 2023, abgerufen am 7. Februar 2024 (englisch).

cite-note-44. ↑ Emilia David: Meta is giving away its AI tech to try to beat ChatGPT. 18. Juli 2023, abgerufen am 7. Februar 2024 (englisch).

cite-note-55. ↑ facebookresearch/llama. Meta Research, 7. Februar 2024, abgerufen am 7. Februar 2024.

cite-note-66. ↑ Introducing LLaMA: A foundational, 65-billion-parameter language model. Abgerufen am 7. Februar 2024 (englisch): „Access to the model will be granted on a case-by-case basis to academic researchers; those affiliated with organizations in government, civil society, and academia; and industry research laboratories around the world. People interested in applying for access can find the link to the application in our research paper.“

cite-note-2-77. ↑ Steffen Albrecht: ChatGPT und andere Computermodelle zur Sprachverarbeitung – Grundlagen, Anwendungspotenziale und mögliche Auswirkungen. In: Deutscher Bundestag. Deutscher Bundestag, 21. April 2023, S. 24, abgerufen am 7. Februar 2024.

cite-note-88. ↑ heise online: Meta und Microsoft präsentieren neues Sprachmodell LLaMA 2. 19. Juli 2023, abgerufen am 7. Februar 2024.

cite-note-99. ↑ Introducing Llama 3.1: Our most capable models to date. Meta, 23. Juli 2024, abgerufen am 26. Juli 2024 (englisch).

cite-note-1010. ↑ Llama 3.2: Revolutionizing edge AI and vision with open, customizable models. Meta, 25. September 2024, abgerufen am 2. Oktober 2024 (englisch).